Tận tụy cống hiến cho những lý tưởng cao cả và đạt được những thành tựu lớn, Livingstone lại có một hối tiếc lúc cuối đời là đã không dành đủ thời gian để gần gũi các con. Livingstone và Mary có sáu người con, họ lớn lên thiếu vắng người cha trong khi người mẹ sức khỏe kém rồi mắc bệnh sốt rét qua đời năm 1862.[35]

Các con của Livingstone gồm có: Robert, chết trong cuộc Nội chiến Mỹ;[36] Agnes (sinh năm 1847), Thomas, Elizabeth (chết chỉ hai tháng sau khi ra đời), William Oswell (còn gọi là Zouga, tên của dòng sông nơi ông chào đời năm 1851), và Anna Mary (sinh năm 1858). Trong số họ có Agnes, William Oswell, và Anna Mary lập gia đình và có con.[37]